Піліп Казіміравіч Харкевіч нарадзіўся 9 лістапада 1859 г. (па іншых звестках — у 1860 г.) у Брэст-Літоўску Гродзенскай губерні ў сям’і рыбака, які стаў потым купцом. Піліп вучыўся ў Брэсцкай мужчынскай прагімназіі. Закончыў Варшаўскае пяхотнае юнкерскае вучылішча, афіцэрскую стралковую школу ў Санкт-Пецярбургу. Амаль увесь час служыў у Брэст-Літоўскай крэпасці, камандаваў ротай, батальёнам.